#ifndef TOKENIZER_INIT_H_
#define TOKENIZER_INIT_H_

#include "sqlite3.h"

#ifdef __cplusplus
extern "C" {
#endif

int tokenizer_init(sqlite3* db);

void tokenizer_test(const char* query);

#ifdef __cplusplus
}
#endif

#endif
